SWRouter: Similarity-Contractive Window Routing for Multi-Turn Large Language Model Conversations
SWRouter:面向多轮大语言模型对话的相似度收缩窗口路由
🧭 多轮LLM路由与上下文构建
Shanghai Jiao Tong University · Baidu Inc. · Wilfrid Laurier University · The Hang Seng University of Hong Kong · York University
提出相似度收缩窗口的上下文分段与双指标评估,多轮路由准确率较最佳单模型提升16.26%
📌 工作参考价值(4 点)
- 多轮对话/客服Agent中的模型路由不能简单沿用单轮特征;需要显式设计历史上下文的切割与保留。文中相似度收缩窗口的思路可直接用于对话状态上下文管理:按语义相似度而非固定轮数滑动窗口,降低历史信息混淆与冗余。
- 评估路由策略时,建议将上下文构建质量与路由决策解耦,采用双指标评测;否则上下文构建差会掩盖路由器的真实能力,这在线上A/B测试中容易误判。
- 对电商导购/搜索多轮Agent,可在多模型池(大模型、小模型、领域模型)上实现基于上下文分段的路由,降低长会话长尾token成本和延迟,同时保持回复质量。
- 工程实现上,相似度分割可以通过现成embedding+阈值/聚类实现,轻量,适合在线服务;无须训练路由器,可先行试点。